神经代码智能(CI)模型是不透明的黑盒,几乎没有关于他们在预测中使用的功能的见解。这种不透明度可能会导致他们的预测不信任,并阻碍其在安全至关重要的应用中的广泛采用。最近,已经提出了输入程序减少技术来识别输入程序中的关键功能,以提高CI模型的透明度。但是,这种方法是语法 - 乌纳威,不考虑编程语言的语法。在本文中,我们采用了语法引导的减少技术,该技术在减少过程中考虑了输入程序的语法。我们对不同类型输入程序的多个模型进行的实验表明,语法引导的减少技术更快,并且在简化程序中提供了较小的关键令牌集。我们还表明,关键令牌可用于生成对抗性示例,最多可用于65%的输入程序。
translated by 谷歌翻译
在神经模型的输入向量中编码源代码有几种方法。这些方法尝试在其编码中包含输入程序的各种句法和语义特征。在本文中,我们调查Code2Snapshot,这是基于输入程序的快照的源代码的新颖表示。我们评估此表示的几种变体,并将其与利用输入程序的丰富的句法和语义特征的最先进的表示性能进行比较。我们对代码2SNAPSHOT在代码摘要任务中的实用性的初步研究表明,输入程序的简单快照对最先进的表示具有可比性。有趣的是,模糊的输入程序对Code2sNapshot性能的影响微不足道,这表明,对于一些任务,神经模型可以通过仅仅依赖于输入程序的结构来提供高性能。
translated by 谷歌翻译
深层神经网络(DNN)越来越多地用于软件工程和代码智能任务。这些是强大的工具,能够通过数百万参数从大型数据集中学习高度概括的模式。同时,它们的大容量可以使他们容易记住数据点。最近的工作表明,当训练数据集嘈杂,涉及许多模棱两可或可疑的样本时,记忆风险特别强烈表现出来,而记忆是唯一的追索权。本文的目的是评估和比较神经代码智能模型中的记忆和概括程度。它旨在提供有关记忆如何影响神经模型在代码智能系统中的学习行为的见解。为了观察模型中的记忆程度,我们为原始训练数据集增加了随机噪声,并使用各种指标来量化噪声对训练和测试各个方面的影响。我们根据Java,Python和Ruby Codebase评估了几种最先进的神经代码智能模型和基准。我们的结果突出了重要的风险:数百万可训练的参数允许神经网络记住任何包括嘈杂数据,并提供错误的概括感。我们观察到所有模型都表现出某些形式的记忆。在大多数代码智能任务中,这可能会很麻烦,因为它们依赖于相当容易发生噪声和重复性数据源,例如GitHub的代码。据我们所知,我们提供了第一个研究,以量化软件工程和代码智能系统领域的记忆效应。这项工作提高了人们的意识,并为训练神经模型的重要问题提供了新的见解,这些问题通常被软件工程研究人员忽略。
translated by 谷歌翻译
Recently, there has been a significant amount of interest in satellite telemetry anomaly detection (AD) using neural networks (NN). For AD purposes, the current approaches focus on either forecasting or reconstruction of the time series, and they cannot measure the level of reliability or the probability of correct detection. Although the Bayesian neural network (BNN)-based approaches are well known for time series uncertainty estimation, they are computationally intractable. In this paper, we present a tractable approximation for BNN based on the Monte Carlo (MC) dropout method for capturing the uncertainty in the satellite telemetry time series, without sacrificing accuracy. For time series forecasting, we employ an NN, which consists of several Long Short-Term Memory (LSTM) layers followed by various dense layers. We employ the MC dropout inside each LSTM layer and before the dense layers for uncertainty estimation. With the proposed uncertainty region and by utilizing a post-processing filter, we can effectively capture the anomaly points. Numerical results show that our proposed time series AD approach outperforms the existing methods from both prediction accuracy and AD perspectives.
translated by 谷歌翻译
在医学中,图像注册对于图像引导的干预措施和其他临床应用至关重要。但是,很难解决,通过机器学习的出现,最近在该领域的医疗图像注册方面已经取得了很大的进步。深度神经网络的实施为某些医学应用提供了机会,例如在更少的时间内进行图像注册,以高精度,在操作过程中对抗肿瘤中发挥关键作用。当前的研究对基于无监督的深神经网络的医学图像注册研究的最新文献进行了全面的范围审查,其中包括到本领域在此日期中发表的所有相关研究。在这里,我们试图总结医学领域中无监督的基于深度学习的注册方法的最新发展和应用。在当前的全面范围审查中,精心讨论和传达了基本和主要概念,技术,从不同观点,新颖性和未来方向的统计分析。此外,这篇评论希望帮助那些被这一领域铆接的活跃读者深入了解这一激动人心的领域。
translated by 谷歌翻译
在各个域中应用机器学习(ML)的快速升级导致更多关注ML组件的质量。然后,旨在提高ML组件质量并安全地将其集成到基于ML的系统中的技术和工具的增长。尽管这些工具中的大多数都使用Bugs的生命周期,但没有标准的错误来评估其性能,比较它们并讨论其优势和弱点。在这项研究中,我们首先研究了基于ML的系统中错误的可重复性和可验证性,并显示了每个错误的最重要因素。然后,我们探索在基于ML的软件系统中生成错误基准的挑战,并提供一个错误基准缺陷4ML,该缺陷4ML满足标准基准的所有标准,即相关性,可重复性,公平性,可验证性和可用性。该故障负载基准测试包含ML开发人员在GitHub和堆栈溢出上报告的113个错误,使用两个最受欢迎的ML框架:TensorFlow和Keras。缺陷4ML还解决了基于ML的软件系统软件可靠性工程的重要挑战,例如:1)框架的快速变化,通过为不同版本的框架提供各种错误,2)代码便携性,通过在不同的ML框架中提供相似的错误,3 )错误可重复性,通过提供有关所需依赖关系和数据的完整信息,以及4)通过介绍指向错误的起源的链接来提供有关所需依赖性和数据的完整信息。基于ML的系统从业人员和研究人员可以评估其测试工具和技术的缺陷4ML。
translated by 谷歌翻译
在本文中,我们介绍了超模块化$ \ mf $ -Diverences,并为它们提供了三个应用程序:(i)我们在基于超模型$ \ MF $ - 基于独立随机变量的尾部引入了Sanov的上限。分歧并表明我们的广义萨诺夫(Sanov)严格改善了普通的界限,(ii)我们考虑了有损耗的压缩问题,该问题研究了给定失真和代码长度的一组可实现的速率。我们使用互助$ \ mf $ - 信息扩展了利率 - 延伸函数,并使用超模块化$ \ mf $ -Diverences在有限的区块长度方面提供了新的,严格的更好的界限,并且(iii)我们提供了连接具有有限输入/输出共同$ \ mf $的算法的概括误差和广义率延伸问题。该连接使我们能够使用速率函数的下限来限制学习算法的概括误差。我们的界限是基于对利率延伸函数的新下限,该函数(对于某些示例)严格改善了以前最著名的界限。此外,使用超模块化$ \ mf $ -Divergences来减少问题的尺寸并获得单字母界限。
translated by 谷歌翻译
在本文中,我们通过图形函数的关键代数条件(称为\ textIt {置换兼容性})完全回答上述问题,该函数将图形和图形的特征​​与功能约束相关联。我们证明:(i)GNN作为图形函数必然是兼容的; (ii)相反,当限制具有不同节点特征的输入图上时,任何置换兼容函数都可以由GNN生成; (iii)对于任意节点特征(不一定是不同),一个简单的功能增强方案足以生成GNN置换兼容函数; (iv)可以通过仅检查二次功能约束,而不是对所有排列的详尽搜索来验证置换兼容性; (v)GNN可以生成\ textIt {any}图形函数,一旦我们以节点身份增强节点特征,从而超越了图同构和置换兼容性。上面的表征铺平了正式研究GNN和其他算法程序之间复杂联系的路径。例如,我们的表征意味着许多自然图问题,例如最小值值,最大流量值,最大值尺寸和最短路径,可以使用简单的功能增强来生成GNN。相比之下,每当GNN无法生成具有相同特征的置换函数时,著名的Weisfeiler-Lehman图形测试就会失败。我们分析的核心是一种新的表示定理,它标识了GNN的基础函数。这使我们能够将目标图函数的属性转化为GNN聚合函数的属性。
translated by 谷歌翻译
无监督的域适应(UDA)显示出近年来工作条件下的轴承故障诊断的显着结果。但是,大多数UDA方法都不考虑数据的几何结构。此外,通常应用全局域适应技术,这忽略了子域之间的关系。本文通过呈现新的深亚域适应图卷积神经网络(DSAGCN)来解决提到的挑战,具有两个关键特性:首先,采用图形卷积神经网络(GCNN)来模拟数据结构。二,对抗域适应和局部最大平均差异(LMMD)方法同时应用,以对准子域的分布并降低相关子域和全局域之间的结构差异。 CWRU和Paderborn轴承数据集用于验证DSAGCN方法的比较模型之间的效率和优越性。实验结果表明,将结构化子域与域适应方法对准,以获得无监督故障诊断的准确数据驱动模型。
translated by 谷歌翻译
手工卫生对于预防病毒和感染是至关重要的。由于Covid-19的普遍爆发,戴着面具和手工卫生似乎是公众遏制这些病毒的传播最有效的方式。世界卫生组织(世卫组织)建议在八个步骤中推荐一支基于酒精的手摩擦的指导,以确保所有手表的手都完全干净。由于这些步骤涉及复杂的手势,对它们的人为评估缺乏足够的准确性。然而,深度神经网络(DNN)和机器视觉使得能够为培训和反馈的目的准确地评估手摩擦质量。本文介绍了一种具有实时反馈的自动化深度学习的手RUB评估系统。该系统使用在从志愿者收集的视频数据集上培训的DNN架构来评估符合8步指南的遵守情况,并在手动摩擦指南之后的各种肤色和手部特征。测试了各种DNN架构,并且成立型号的模型导致了97%的测试精度的最佳效果。在建议的系统中,NVIDIA Jetson Agx Xavier嵌入板运行软件。在各种用户使用的具体情况下评估系统的功效,并确定具有挑战性的步骤。在这个实验中,志愿者中手摩擦步骤的平均时间是27.2秒,符合世卫组织指导方针。
translated by 谷歌翻译